Соревнование: http://www.dialog-21.ru/evaluation/2017/morphorueval/Как в старые добрые времена, которые я не успел застать: машинное время на моем сервере на ближайшие пару недель расписано полностью. Все четыре ядра и 32 Гб памяти будут гонять питоновские скрипты ( Read more... )

В продолжение http://kelijah.livejournal.com/199946.html.

Если организовать цепочку backoff-тэггеров AffixTagger по окончаниям от 1 до 4 символов, плюс добавить DefaultTagger, и повесить всё это на UnigramTagger, то качество вырастает почти на полпроцента:

UnigramTagger+AffixTagger(4,3,2,1)+DefaultTagger accuracy=0.97537562778Дефолтный тэггер ( Read more... )

Ингредиенты:

1. Python
2. NLTK, точнее та часть, которая лежит в nltk.tag
3. Набор предложений с ручной морфологической разметкой слов собственного производства, примерно 2,2 миллиона слов.
( Простой способ получить точность в 97%... )

Еще одна сеточная модель для char-based language modeling.
Для произвольной цепочки символов пытаемся определить, к какой части речи это слово относится.
( Read more... )

Большое обновление всех компонентов русского синтаксического парсера (http://solarix.ru/parser.shtml):
( Read more... )

Выложил на сайте последнюю сборку парсера и part-of-speech tagger'а с самой актуальной русской словарной базой: www.solarix.ru/for_developers/download/win/parser-ru-Win64.7z (80 Мб ( Read more... )

(предыстория тут http://kelijah.livejournal.com/177045.html)

Новый результат - ошибаемость частеречной разметки русского текста упала до:

Tag error rate=3,3119224650003%

И это уже очень неплохо.

( Read more... )

Выполнялась частеречная разметка русского текста с помощью RNNSharp.

В обучающем корпусе имеется примерно 130 разных тегов, то есть детализация классов слов достаточно подробная, а не просто существительное/прилагательное/глагол/...

В качестве признаков слова использовались только word2vector представления слов размером 128, полученные с ( Read more... )

(начало тут http://kelijah.livejournal.com/173429.html)
Вот простой пример того, как правильное определение морфологического контекста слова позволяет правильно выбрать лемматизирующее правило.
Исходное предложение: Гораздо интереснее обстоят дела с интерконнектом и программным обеспечением.

Слово интерконнектом не словарное. Как получить его ( Read more... )

Новая модель лемматизации работает поверх морфологической модели, и поэтому лучше приспособлена к работе с несловарными элементами - всякими фамилиями, названиями и так далее.

Эта модель будет включена в следующую версию Парсера.

Простой (отладочный) пример. На входе - предложение "Я встретил В.И.ЛенинаНа выходе парсера имеем такую частеречную ( Read more... )